package com.shujia.flink.core;

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Demo4Par {
    public static void main(String[] args) throws Exception {

        //1、创建flink的执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /*
         * 并行度
         * 1、一个并行度对应一个task
         * 2、一个并行度需要一个资源，上下游的task可以共享同一个slot
         *
         * 并行度设置方式
         * 1、提交任务是设置 -p (常用)
         * 2、可以再代码中统一设置   env.setParallelism(2)
         * 3、每一个算子可以单独设置  ds.setParallelism(2)
         *
         * 优先级 1 < 2 < 3
         *
         * 并行度设置原则（由数据量决定- 吞吐量，每秒的数据量）
         * 1、非聚合计算代码逻辑
         * 每一个并行度每秒可以处理1万-10万左右
         * 2、聚合计算的代码逻辑
         * 每一个并行度每秒可以处理1000-1万左右
         *
         */


        //2、读取数据
        //nc -lk 8888
        DataStream<String> linesDS = env.socketTextStream("master", 8888);
        System.out.println(linesDS.getParallelism());

        //3、转换成kv
        DataStream<Tuple2<String, Integer>> kvDS = linesDS
                .map(word -> Tuple2.of(word, 1), Types.TUPLE(Types.STRING, Types.INT))
                .setParallelism(2);

        //4、统计单词的数量
        KeyedStream<Tuple2<String, Integer>, String> KeyByDS = kvDS.keyBy(kv -> kv.f0);


        DataStream<Tuple2<String, Integer>> countDS = KeyByDS.sum(1);

        //大于结果
        countDS.print();

        //启动
        env.execute();
    }
}
